const superagent = require("superagent")
var charset = require('superagent-charset');
const cheerio = require('cheerio');
charset(superagent); //设置字符

var BASE_URL='http://www.qklnews.com/';

// callbacks
function getWWElink(pageNo){
    if(pageNo==50) return;
    superagent
    .get(BASE_URL+"matchvideo/"+pageNo+".html")
    .charset('gbk')
    .buffer(true)
    .end((error, response) => {
        //console.log(response.text)
        //结合 cheerio
        var dom = response.text;
        const $ = cheerio.load(dom,{ decodeEntities: false });
        $('#qkl_main_l a').each(function(index,item){
            var text= $(item).text();
            //console.log(text)
            if(text.indexOf('WWE')>-1 || text.indexOf('RAW')>-1 || text.indexOf('SmackDown')>-1){
                var logtext = BASE_URL+$(item).attr('href')+''+text;
                console.log(logtext);
            }

        })	
        pageNo++;
        getWWElink(pageNo);
    })
}

getWWElink(1);



// promises


// superagent
//     .get(forumURL)
//     .then((response) => {
//         console.log(response)
//     })
//     .catch((error) => {
//         console.error(error)
//     })


// promises with async/await
async function getForum() {
    try {
        const response = await superagent.get(forumURL)
        console.log(response)
    } catch (error) {
        console.error(error)
    }
}    